Analysis of Partitioning Models and Metrics in Parallel Sparse Matrix-Vector Multiplication

Graph/hypergraph partitioning models and methods have been successfully used to minimize the communication requirements among processors in several parallel computing applications. Parallel sparse matrix-vector multiplication (SpMxV) is one of the representative applications that renders these models and methods indispensable in many scientific computing contexts. We investigate the interplay of several partitioning metrics and execution times of SpMxV implementations in three libraries: Trilinos, PETSc, and an in-house one. We design and carry out experiments with up to 512 processors and investigate the results with regression analysis. Our experiments show that the partitioning metrics, although not an exact measure of communication cost, influence the performance greatly in a distributed memory setting. The regression analyses demonstrate which metric is the most influential for the execution time of the three libraries used. Key-words: Parallel sparse-matrix vector multiplication, hypergraph partitioning ∗ Dept. of Biomedical Informatics, The Ohio State University (kamer, [email protected]) † Dept. of Electrical & Computer Engineering, The Ohio State University ‡ CNRS and LIP, ENS Lyon, France ([email protected]) Sur l’analyse des modèles de partitionnement et des métriques lors de la multiplication d’une matrice creuse avec un vecteur dense en parallèle Résumé : Les modèles et méthodes de partitionnement de graphes/hypergraphes ont été utilisés avec succès pour minimiser les besoins de communication entre processeurs dans de nombreuses applications de calcul parallèle. La multiplication d’une matrice creuse avec un vecteur dense (SpMxV) est une des applications représentatives qui rendent ces modèles et méthodes indispensables dans de nombreux contextes de calcul scientifique. Nous nous intéressons aux interactions entre plusieurs métriques de partitionnement et le temps d’exécution des implémentations de SpMxV dans les bibliothèques Trilinos, PETSc, et une bibliothèque à nous. Nous effectuons des expériences avec jusqu’à 512 processeurs, et nous étudions les résultats à l’aide d’analyse par régression. Nos expériences montrent que les métriques de partitionnement, bien qu’elles ne fournissent pas une mesure exacte du coût de communication, influent de façon significative sur la performance dans un système à mémoire distribuée. Les analyses par régression montrent quelle métrique a le plus d’influence sur le temps d’exécution pour les trois bibliothèques utilisées. Mots-clés : Multiplication d’une matrice creuse avec un vecteur en parallèle, partitionnement d’hypergraphes Partitioning for Parallel Sparse Matrix-Vector Multiplication 3